反向传播算法理论

由于偏导数是反向传播算法中非常关键的数学概念，所以你要有把握具备计算这些偏导数的能力，这很重要。一旦你知道如何计算基本的导数，计算偏导数就容易理解了。
关于偏导数的更多信息，请使用以下链接

在这节课以后练习中，为了进行计算，你可以使用该链接了解常用导数。

在反向传播算法过程中，我们通过调整权重，利用每次迭代使网络误差最小化。以下视频可以帮助你理解我们计算这些调整所使用的数学过程。

如果我们看一个任意的层k，我们可以定义改变连接 k 层的神经元 i 和神经元 j 的权重数量，具体如下：\Delta W^k_{ij}。

上标(k)表示连接 k 层和 k+1 层的权重。

因此，这个神经元的权重更新规则可以表示如下：

W_{new} = W_{previous} +\Delta W^k_{ij}

方程式 4

通过使用梯度计算，得出更新数值\Delta W_{ij}^k，具体如下：

\Delta W_{ij}^k=\alpha (-\frac{\partial E}{\partial W})，其中\alpha是所谓的学习率较小正数。

方程式 5

从这些推导中，我们可以很容易看到，利用下列方程式计算权重更新：

W_{new}= W_{previous} +\alpha (-\frac{\partial E}{\partial W} )

方程式 6

由于多个权重决定网络的输出，因此我们可以使用不同权重相关的网络误差偏导数（由希腊字母Nabla \nabla定义)。

W_{new}= W_{previous}+\alpha \nabla_W(-E)

方程式 7

在这里你可以找到其他理解和调优学习率的良好资源：

以下视频是复习过拟合。你已经在训练神经网络课程中了解过这个概念。你可以跳过这个内容，直接进入下一个视频。